【学术快报】弦外音？言外意？朱露莎课题组揭示人类交流推理的神经计算机制

交流是人类最重要的社会行为之一。我们通过交流来传递信息、获取知识、建立信任、达成共识。不同于竞争、合作、共情等高级社会认知功能，我们对复杂交流行为所依赖的认知和神经机制知之甚少。理解交流行为不仅需要对交流信号本身（如表情、手势、语音、词义、句法等）进行研究，还需要探索这些信号是如何在具体的社会情境中被灵活使用，表达含义。例如，当一个男孩试图邀请自己喜欢的女孩约会时，女孩回答“你是个好人”。男孩可能很快意识到女孩的“潜台词”——她对自己没兴趣，而即便是精通语音和词义识别的人工智能则很可能完全误解这句话。

大脑如何因地制宜地编码和解码交流信号、传递意图，是一个公认重要却困难的研究问题。它的困难一方面源自于人类交流行为的高度复杂性，另一方面也由于缺乏定量刻画其认知与神经机制的工具。早在1975年，哲学家Grice就提出了一个著名的假说，猜测人们通过某些合作性原则来使用语言信号，以达成相互理解 ^[1]。虽然该“合作原则”被写进当今几乎所有语用学教科书的第一章甚至第一段，但一直都作为哲学猜想存在，缺乏直接证据。

北京大学心理与认知科学学院、麦戈文脑科学研究所朱露莎课题组日前将决策神经科学、计算语言学以及博弈论等多学科研究方法相结合，为这一难题开辟了新的定量研究的思路。该研究发现，人类大脑通过灵活、自动、理性地模拟他人的合作行为，来推断交流信号的潜在含义。这一过程可以在数学上描述为一个基于逆向推理的归因过程，该推理过程所需的几种关键的认知变量由腹内侧前额叶和纹状体的活动定量表征，为理解社会交流提供了一个简单、可扩充的认知神经模型。

利用功能性磁共振成像与计算建模等技术手段，研究者在经典的“指代博弈” ^[2]中探索了人们推断言外之意的神经计算机制。与常见的“你说我猜”游戏类似，在该实验中，信号发送方（说话人）需要选择颜色或形状来指代一个目标物体，而信号接收方（听众）则需要通过接收到的信号来推断目标物体。

在上图的例子中，如果一个“合作的”说话人想指代蓝色的方形，那么他更可能会说“方形”来帮助听众理解其用意。因此，当听众接收到“蓝色”这个词时，听众便可以猜测，说话人希望指代的应该是蓝色的圆形，而不是蓝色的方形。

这一推理需要听众站在说话人的角度，模拟和评估说话人为帮助听众理解某用意而选择某行为的可能性（合作行为），然后由接收到的“果”（交流信号）来反推可能对应的“因”（说话人的意图） ^{[2, 3]}。

那么，听众的大脑是否也采用了类似的“逆向推理”算法来推断说话人的意图呢？研究者发现，听众大脑的腹内侧前额叶可能是一个理性交流信号的“模拟生成器”，灵活且定量地表征了说话人采取各种合作行为的条件概率（例如，为了指代蓝色圆形而选择“蓝色”这个词的可能性）。

有趣的是，在有些情况下，听众无需推理，可以由字面含义获知对方的意图（如下图中的例子），听众的腹内侧前额叶仍然稳定地表征了这一内部模拟信号，意味着对交流伙伴合作行为的模拟也许是一个自动的神经加工过程。

同时，听众腹内侧前额叶的信号可能投射到双侧纹状体，在纹状体中以类似于预期误差的形式来更新对他人交流意图的判断。这一过程和以贝叶斯为代表的逆向推理计算模型高度吻合，说明了交流意图推断的潜在神经机制。

长久以来，哲学、语言学、认知科学等领域都对交流中是否存在合作、如何实现合作存在极大分歧，这一研究结果为基于合作原则的理性选择假说提供了直接的神经证据。该研究框架可以被扩展到更加复杂的自然语言交流，以及更加广阔的社会知觉与人际决策领域中，用以探索社会信号编码和解码所涉及的认知神经过程。

理解言外之意也是人工智能领域开发真实情景下人机交互工具、进行自然语言处理面临的一大挑战。刻画交流意图推断的神经计算机制、探索大脑策略性合作的算法，对让人工智能理解幽默、懂得讽刺、实现有效交流具有启发意义。

输

研究结果于2021年3月3日在线发表于《Science Advances》。北京大学前沿交叉学科研究院博士研究生米青天为该论文第一作者，北京大学心理与认知科学学院、麦戈文脑研究所以及生命科学联合中心研究员朱露莎为该文通讯作者，北京大学博士研究生王聪以及加州理工学院Colin F. Camerer参与了该工作。该研究得到了国家自然科学基金委，北大-清华生命科学联合中心的资助。

参考文献

[1] Grice, H. P. (1975). Logic and Conversation. In P. Cole & J. L. Morgan (Eds.), Syntax and Semantics (Vol. 3, pp. 41–58). New York: Academic Press.

[2] Goodman, N. D., & Frank, M. C. (2016). Pragmatic language interpretation as probabilistic inference. Trends in Cognitive Sciences, 20(11), 818–829.

[3] Friston, K. J., Parr, T., Yufik, Y., Sajid, N., Price, C. J., & Holmes, E. (2020). Generative models, linguistic communication and active inference. Neuroscience and Biobehavioral Reviews, 118, 42–64.

论文链接：https://advances.sciencemag.org/content/7/10/eabe6276

即刻点击“阅读原文”，查看论文详细内容。

朱露莎

北京大学心理与认知科学学院研究员

北京大学麦戈文脑科学研究所PI

北大-清华生命科学联合中心PI

实验室研究领域：

我们的实验室研究大脑怎么作决策，特别是复杂的社会决策。当前，我们的研究着眼于博弈行为中，大脑怎么推断他人的目标、预判他人的行动、猜测他人的策略，以及怎么基于这些预测来进行行为选择。为此，我们采用交叉学科的研究方法，探索大脑怎么将外部世界的信息（成本、收益、行为规则、反馈等）转化为内部的认知状态（价值、注意、信念等）和外部的行为表象（合作、竞争、协作、交流等）。具体而言，我们用博弈游戏搭建人际交互的实验平台，用脑科学研究手段（如核磁共振、脑损伤、脑刺激等）来探查交互个体决策的硬件，用博弈论、机器学习、计算语言学等模型来刻画生成决策行为的软件，从而理解决策行为的认知和神经机制，以及这些机制在神经和精神疾病下将会出现怎样的偏差。

我们实验室长期招收博士后，特别欢迎在认知神经科学、机器学习、自然语言处理、博弈论和行为经济学等方面有相关专长的研究者加入。

北京大学IDG麦戈文脑科学研究所

脑科学讲座 | 学术笔记 | 研究分享

长按识别二维码，获取更多精彩内容！

官方微信公众号：Brain-Research

官方网站：http://mgv.pku.edu.cn/